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Адаптивная модель оперативного планирования 
заданий компьютерньх кластеров системі! Стіа 


У статті розглядається проблема підвищення ефективності використання комп'ютерних кластерів із 
поділюваними ресурсами в структурі глобальної інформаційної Стій-системи. Запропоновано адаптивну 
модель системи управління пакетною обробкою завдань кластера при відчуженні його обчислювальних 
ресурсів в умовах наявності двох конкуруючих потоків вхідних даних. 

Ключові слова: адаптивна модель, дискретна оптимізація, розподілені обчислення, 
комп'ютерний кластер, система Стій. 


Тре агисіе 15 деуоіед р Ше ргобіеп ої іпстеаз5е ої еіїсіепсу ої п5е ої согариїег сіияїего млі 5рагед гезошгсез іп Фе 
зистиге ої Ше 8Їоба! іпйогтпайопа! Стій 5узіет. Її 15 ргоро5ед Фе аЧарйуе плоае! їог сопігої зузіет ої Баїсі |0б 
ргосеззіпе ої а сІаякег аї айепайоп ої їїз сопарийпя гезошгсез їп сопаїйоп5 ої ргезепсе ої бо сотрейпе ому ої Фе 
епігапсе да/а. 

Кеу УУогаз: адарйуе тоае!, Фі5сгеке орітігацоп, Фі5ібшеад сотрийтє, согаришег сІизіег, Стій Зубієт. 


В статье рассматриваєтся проблема повьшиюения зффективности использования компьютерньгх кластеров с 
разделяємьми ресурсами в структуре глобальной информационной Сті-системь6. Предложена адаптивная 
модель системьт управления пакетной обработкой заданий кластера при отчуждений его вьгчислительньтх 
ресурсов в условиях наличия двух конкурирующих потоков входньтх данньхх. 

Ключевьге слова: адаптивная модель, дискретная оптимизация, распределенньтже 
вьтічисления, компьютернь/й кластер, система Стій. 


Постановка проблеми та її зв'язок з практичними 
завданнями 


Мережна технологія Стій дозволяє створити потужний інструмент обробки інфор- 
мації для наукової, виробничої та комерційної сфер. Побудова національної інфраструктури 
Стід сприятиме інтеграції України у Європейський науковий простір та вирішенню 
наступних завдань: обслуговування Українського міжнародного центру даних та надання 
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доступу до наукової інформації, використання потужних комп'ютерних ресурсів й експе- 
риментальних установок; об'єднання наукової та освітньої обчислювальної Й комуні- 
каційної інфраструктури в національну Стій, а також підключення її до Європейської 
Спа-інфраструктури; вирішення виробничих, інженерних та бізнесових задач розвитку 
мережного транспортного середовища, технологій високошвидкісної передачі даних 
шляхом використання обчислювальних ресурсів комп'ютерних кластерів, що належать 
окремим організаціям. 


Аналіз попередніх досліджень 
та виділення невирішених питань 


Головні ідеологи Стій І. Козіег та С. Кез55еїтап дають цій технології таке ви- 
значення |1|: «Обчислювальна Стіа - це апаратна й програмна інфраструктура, що 
забезпечує надійний, погоджений, всепроникаючий та недорогий доступ до високо- 
продуктивних обчислювальних ресурсів». Пізніше (2) визначення Стіа було набли- 
жене до соціальних аспектів та можливості створення домовленості про використан- 
ня спільних ресурсів серед учасників (споживачів й постачальників) та використання 
результуючого об'єднання ресурсів для певних цілей. Під ресурсами спільного до- 
ступу розуміється не стільки обмін файлами, а скоріше безпосередній доступ до 
комп'ютерів, програмного забезпечення та даних при спільному рішенні проблем у 
науці, промисловості й бізнесі. 

Існує декілька типів Стіа-систем, всі вони надають ресурси, але кожна оптимі- 
зована під різні функції: розв'язання рівнянь, візуальне моделювання при колектив- 
ному проектуванні, зберігання масивів даних 1 т.п. |3|. Запропоновані для вирішення 
великомасштабних обчислювальних завдань в науці, техніці та бізнесі глобальні об- 
числювальні мережі Стіа відкривають перспективу одночасного використання тисяч 
приналежних різним організаціям обчислювальних ресурсів, розташованих у різних 
адміністративних і географічних областях |4), (5). Одним з видів ресурсів Стіа є 
комп'ютерні кластери - група об'єднаних високошвидкісними каналами зв'язку ком- 
п'ютерів (обчислювальних вузлів кластера), що представляє з точки зору користу- 
вача єдиний апаратний ресурс. 

При цьому, розподіляючи ресурси Стійа-системи, виникає необхідність як 
визначення мінімального числа кластерів, на яких може бути виконана задана під- 
множина завдань, так і оптимального розподілу цих завдань усередині самих кластерів 
між його обчислювальними вузлами. Такий підхід вимагає використання дворівневої 
структури Стій. На першому рівні декілька незалежних брокерів розподіляють об- 
числювальні завдання на кластери, а на другому рівні кожен кластер розподіляє 
завдання, привласнені йому локальним планувальником. 

Диспетчеризація завдань у кластері Стіа буває централізованою, децентралізо- 
ваною, ієрархічною. При цьому можуть застосовуватися підходи із попереджуваль- 
ним розподілом, використанням пріоритетів завдань та прийняттям угод в системі 
диспетчеризації |б). 

Важливою особливістю функціонування кластерів систем Стіа є наявність двох 
вхідних потоків інформаційно-розрахункових завдань (ТРЗ). Перший потік містить 
чергу локальних завдань кластера, а другий складається із завдань від глобальної 


інфраструктури Стіа (рис. 1). 


«Штучний інтелект» 272012 39 


Тимошенко Є.В. 


ЗТ 


Потік Кластер У 


глобальних завдань 


Кластер 2 зв я 
Кластер 1 
Комп'ютери 
Потік кластеру 
локальних й 
завдань , М 
цу | Інтерфейс М Черга 
И спо / спо 


Рисунок 1 - Система пакетної обробки потоків завдань у кластеризованій Стіа 


Обидва потоки, надходячи через інтерфейс системи пакетної обробки (СПО) 
завдань кластера, формують загальний потік (чергу) ІРЗ, що розподіляються по об- 
числювальним вузлам комп'ютерного кластера. При цьому виникає конкурування 
локального та глобального потоків завдань за пріоритет володіння ресурсами кластера. 
В результаті чого систематично коїться відчуження обчислювальних ресурсів кластера 
системою Стій, а також їхня відмова (через внутрішні причини або перевантаження) -- в 
обох випадках стабільна робота кластера порушується. 

Метою даної статті є розробка адаптивної моделі оперативного перерозподілу 
завдань комп'ютерного кластера з двома конкуруючими потоками вхідних даних в 
умовах деградації або відчуження його обчислювальних ресурсів, з метою досяг- 
нення максимального відновлення його функціональної потужності. 


Особливості функціонування комп'ютерних кластерів 
в системах Стіа 


Динамічне управління потоками інформації при взаємодії процесів користу- 
вачів Стіа-системи, пов'язане із вирішенням оптимізаційних задач розподілу ІРЗ по 
кластерах Стіа та їхнім обчислювальним вузлам. Цей процес повинен здійснюватися 
в масштабі реального часу, з визначеним періодом відновлення інформації в об- 
числювальній мережі |7). 

У комп'ютерних системах час, що відводиться на обслуговування запитів із 
черги, не повинен перевищувати допустимого значення Т;,. Тому вирішення задачі 
обслуговування запитів, що забезпечує максимальне використання ресурсів, має від- 
бутися із визначеною оперативністю. Оперативність вирішення задачі динамічного 
управління Стід-кластером за час, що не перевищує допустиме Ту, кількісно оці- 
нюється ймовірністю Р(Т)-обробки необхідного комплексу ІРЗ за час Т |8| 


Р(Т)«1-е Т, (1) 


де Т, - допустимий час, обробки комплексу завдань СПО-кластера; Т - час 
виконання обробки комплексу ІРЗ. 
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Взаємодія Стіа-системи із кластером має дискретно-подійний характер. Через 
це на вході системи утворюється черга та новий запит, що надходить, не приймаєть- 
ся до обслуговування. Тому потрібна розробка системи управління кластером, яка б мала 
достатню швидкість оптимального розподілу завдань, щоб працювати у реальному 
масштабі часу, та забезпечувала одночасний доступ до всіх вільних на цей момент об- 
числювальних ресурсів. Для цього запропоновано використати метод групової вибірки. 
Створена на його основі система управління здатна забезпечити ефективне обслугову- 
вання кластером одночасно декількох ІРЗ із черги. Завдання, що вимагають ресурсів 
різних типів, вибираються таким чином, щоб сума їхніх пріоритетів була максималь- 
ною. При рівності пріоритетів перевага віддається завданню, що надійшло в чергу 
раніше. Забезпечення живучості кластера Стій-системи вимагає створення моделі його 
функціонування при наявності двох конкуруючих за обчислювальний ресурс потоків ІРЗ. 


Забезпечення адаптивного відмовостійкого планування 
завдань в комп'ютерних кластерах Стіа-систем 


Вихідними даними для вирішення задачі розподілу завдань у системі є функції, що 
виконуються системою та можуть бути формалізовані у вигляді сукупності розв'язуваних 
завдань. Для кожного із завдань можуть бути задані варіанти його вирішення, яке може 
складатися з декількох етапів. Зв'язки між завданнями та етапами вирішення задаються у 
вигляді графа, ребра якого характеризують шляхи між етапами вирішення завдань, та 
відповідають напрямкам інформаційних потоків. Крім цього, задається множина ресурсів 
системи та зв'язків між ними, а також види технічних засобів, що використовуються в 
ній. Потрібно таким чином розподілити завдання по ресурсах та рівнях системи, щоб 
максимізувати ефект від їхнього виконання. Часові обмеження для різних завдань ви- 
магають аналіз роботи різних ресурсів системи. 

Припустимо обчислювальна система (рис. 2) складається із М типів ресурсів К,, 
і - 1, М. До системи мають доступ М клієнтів 0), ) - І, М, які формують завдання 
для виконання в системі. 

Кожне завдання 3; від будь-якого клієнта О; має свій пріоритет В», залежний від 
рівня привілеїв клієнта. Момент, в який від клієнта надходить завдання - величина 
випадкова, а при високій інтенсивності надходження завдань на вході системи 
утвориться їхня черга. Основним критерієм оптимізації, що застосовується при 
цьому, є коефіцієнт використання ресурсів Квр. Він характеризує розмір частини 
загальної кількості ресурсів, до яких звертаються завдання із черги. 


Ресурси 8) 


з 


Система управління 


Черга запитів 


бро ЗИ 


Рисунок 2 - Схема обробки завдань 


Якщо жоден ресурс кластера не використаний, то Квр- 0, а якщо задіяні усі 
ресурси, то Квр - 1. Зрозуміло, що не завжди є можливість вибрати такі завдання, 
щоб всі ресурси кластера були залучені. 
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Для підвищення ефективності планування розподілу завдань у кластері про- 
понується задача оптимізації наступного виду 


М 
Е«УВ,х, тах, (2) 
раї 
р - 
УАзльяВьвтьМ, (3) 
Кі 


де Ак - дорівнює 1, якщо 3; використовує ресурс К, та 0, якщо ні; В, - 
кількість ресурсів типу 2. 

Показник (2) можна розглядати як функціональну потужність кластера, що ха- 
рактеризує сумарну важливість завдань, виконуваних в ньому, та від якого прямо 
пропорційно залежить коефіцієнт використання ресурсів 

Е 


М , 

й 

ізі 
де У; - максимальний пріоритет завдань, що звертаються до ресурсу К.. 


Модель (2), (3) будемо називати однопотоковою моделлю обслуговування завдань. 
В загальному випадку множини завдань, що надходять у чергу на вирішення, можна 


розбити на дві підмножини, а саме на підмножину завдань Сті- мережі (37 ) та під- 


К р г (4) 


множину задач (37), що розв'язуються в інтересах власника кластера. Кожне р-е 
завдання відповідно до політик ціноутворення центрів сертифікації Стіа-завдань та 
власників кластерів має коефіцієнт важливості Б,, а тому кожній підмножині задач у 
черзі відповідають сумарні коефіцієнти їхньої важливості І та Е7. Надалі розріз- 
нятимемо значення сумарних коефіцієнтів важливості завдань, що знаходяться в 
черзі Є, Е/, та сумарні коефіцієнти важливості задач, що плануються для вико- 
нання Е"и Е". Якщо Ес а Е/, то економічні втрати від затримок виконання зав- 
дань З є 1397) та З є (37) будуть однакові, а тому доцільно використовувати роз- 
глянуту однопотокову модель обслуговування завдань. Коли Є, »» Е/, то економіч- 
ні втрати будуть більше залежати від затримок виконання завдань 37, апри До ««БЕ/ - 


від затримок виконання завдань 37. Тому процес планування виконання завдань, що 

надходять у чергу, має бути адаптивним до сумарних цін, що змінюються, та реалі- 

зовуватися на основі двохпотокової моделі. Припустимо, що виконується нерівність 
В . . . В 

ЕС 2» ЕЙ , тоді виділяємо підмножину завдань (37 У, що утворюють ДЕ- Ес - КО, та 

визначаємо не зайняті завданнями Стіа ресурси, на яких вони можуть бути розв'язані. 

. . . В3/ С . . . . 

Знімаємо із цих ресурсів завдання (3; | є (3; |. Потім одночасно вирішуються дві задачі 
Ї В . - 

планування розподілу завдань (37 | та (37) на основі однопотокових моделей для 


множин, що не перетинаються, ресурсів, які можна використовувати при виконанні 
кожної підмножини завдань. Через те, що частина ресурсів відчужується для 


й В Й 
вирішення завдань (37), показник Е? деградує на величину Д/", але потім за ра- 


хунок перерозподілу завдань на підмножині доступних ресурсів відновлюється на 
величину АЕ. По мірі звільнення ресурсів в підмножині, що обслуговувала завдання 


. В . 
ІЗ у , завдяки перерозподілу завдань показник Е" системи вертається до номіналь- 


ного значення, як це вказано на рис. 3. 
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Рисунок 3 - Діаграма функціонування системи 

У випадку, коли виконується нерівність Бо «« Е) , модель працює аналогічно, 
але відчужуються ресурси для завдань (37). Таким чином, у двохпотоковій моделі 
ресурси надаються тому потоку, для якого штрафні санкції можна істотно знизити та 
при цьому для другого потоку, за рахунок перерозподілу завдань, економічні втрати 
теж мінімізуються. Після того, як за рахунок роботи двохпотокової моделі значення 
показників Ес та Е/ вирівняються, управління повертається до однопотокової мо- 
делі із загальним полем ресурсів. Таким чином, у процесі роботи кластера в циклі 
здійснюється перехід між однопотоковою та двохпотоковою моделями (рис. 4). 

Слід зазначити, що визначення Есе Е/ має здійснюватися на основі роз- 
роблених економічних політик власників сертифікаційних центрів Стіа та власників 
кластерів. При цьому повинно бути одержано деяке компромісне номінальне значен- 
ня показника Ен, яке може відхилятися на деяку величину 6 (призначає адміні- 
стратор кластера) у позитивну або негативну сторони. Обгрунтування величин Ен та 
5 виходить за рамки даної роботи, оскільки її метою є автоматизація процесу роз- 
поділу завдань у кластерах Стіа-систем. 

Розходження показників І) та ЕІ? може бути також обумовлено виходом з ладу 
ресурсів кластера та поверненням не виконаних завдань у чергу, що теж приводить 
до схеми планування, наведеної на рис.4 Основними показниками ефективності 
функціонування кластера при цьому є оперативність виконання планування та коефі- 
цієнт використання ресурсів на етапах роботи однопотокової моделі, а також опе- 
ративність виконання планування та коефіцієнт збереження ефективності на етапах 
роботи двохпотокової моделі. 


Ге В 
Визначення Ви та Еч 


Однопотокова модель Двохпотокова модель 


Рисунок 4 - Цикл роботи моделей планування в кластері 
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Висновки і перспективи подальших досліджень 


Отже, задача перерозподілу завдань в кластері зводиться до багатократного ви- 
рішення задачі цілочислового лінійного програмування з булевими змінними. Причому 
потужність процедури, що його реалізує, має дозволяти розв'язувати цю задачу у 
масштабі реального часу в умовах функціональної відмови окремих обчислювальних 
елементів та конкурування основного потоку завдань кластера з потоком завдань 
Стід-системи. За підсумками вирішення поставленого завдання на основі теоретич- 
них досліджень та комп'ютерного моделювання зроблені наступні висновки: 

- запропонована модель дозволяє обслуговувати пакети завдань комп'ютерного 
кластера, за допустимий час забезпечуючи планування з урахуванням динаміки 
взаємодії потоку завдань Стіа із потоком власних завдань кластера; 

- створена модель функціонування кластера Стіа-системи дозволяє враховувати 
коефіцієнт використання ресурсів, функціональну потужність системи та показник 
оперативності планування ресурсів, що дозволяє дослідити роботу кластера в умовах 
конкурування потоків завдань та відчуження обчислювальних ресурсів; 

- експериментально доведено, що застосування моделі дозволяє: зберігати в серед- 
ньому до 62,93Ус функціональної ефективності кластера у випадку видалення частини 
його обчислювальних ресурсів; з високою оперативністю (Р(Т)?20,9) адоптивно розпо- 
діляти конкуруючі потоки ІРЗ, враховуючи їхню важливість та стан обчислювальних 
ресурсів кластера; забезпечити вибірку залежно від використовуваної планувальником 
СПО-процедури, від 160 (7, 35 с) до 260 (7, - - 20 с) або від 215 (7, -5 с) до 355 
(Та - 20 с) пакетів ІРЗ. 

З огляду на отримані в ході дослідження результати можна сподіватись на пер- 
спективність інтеграції розробленої адаптивної моделі оперативного планування роз- 
поділу ІРЗ або окремих процедур її програмного забезпечення в структуру СПО-кла- 
стерів системи Стіа. Однак, остаточне твердження про ступінь ефективності запро- 
понованої моделі потребує подальших, більш грунтовних та масштабніших, досліджень. 
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У.У. ТутобПпепкКо 
Аадарпуе Моае! )ог Орегапопаї! Ріаппіпе Та5зкК5 о! Стіа 


Сотрийпе СПибіег5 

Тре агісіе сопз5ідег5 Ше сштепі 5сіепіїйс апа ргасіїса! іазк ої демеїоріпе, ап адарйує 
тоаде! ої гарід дї5пібибоп ої іпіогтлабоп апа соприацопа! (азк5 їп Ше сопарикег сІизіегя ої 
Спіа. Тре апаЇузіз ої Фе Гипсбопіпе ої Фе соппригег сіця(ег3 Базей оп Фе Стій іесппоїобу 158 
таде апа Ше сроісе ої Ше птаїп сгіїегіа Їог Шеїг регіогтпапсе 15 ргомей. Сепега! зсіепийс 
спаШепее 15 (о Феуеіор а плоде! ої (Бе Фізілібицпоп ої їа5Кк8 іп сІизіегя ої Оті 5у5іетз. 

Тре ресипатісу ої йлпсйопіпе, сіизіего ої Фе Стій 5убіетя 15 Ше рге5епсе ої Іоса! апа 
8Їоба! іприх 58ігеатя ої іазКк8, уупісі сопареїе ог сопарийпе, ге5оцтсе8. АПепайоп ої іре5е ге- 
зошгсез Бу Ше Стід Зузіет сопаріїсагез Ше могК ої Фе сіизіег. Орегайопа! гедізігірийоп ої Фе 
оса! са5К5 (о муогКіпе плодціез ої Фе Стій сІизіег 15 сейіпе песез5агу. Ії ргоуїде8 а плахітит ої 
їз Типсйопа! сарасіу. Бог іє ригроз5е, базед оп Фе пефоа ої єгопр 5еЇесйоп, Фе плодеі 
тапаєетепі ої Фе зукіет 15 пладе, Шаг Іег ргосе855 ппиібріє їа5к расКаєе з5ітицапеоикхіу. 
Адарйуе ріаппіпє іаке5 їпіо ассоцпі Ше ргезепсе ої бо сопарейпо пподеія ої Пому (а8К5. 
ЕНеспуепе58 іпаїсез ої Фе сІцзіег аге ріаппіпє ейсіепсу апа шігацоп ої гезоигсе5 їп 5іпеЇе- 
ігеадед апа доицбіе-ШФгеаїеп подез тоаеі. Кеді5іібицоп ої (а5Кк5 їп а сІизіег 15 пладе Бу сусіїс 
5оїицоп ої са5Кк Їог йпеаг ргоггаттипя ул Фе Вооіеап уагіабіез. Ромуег ої (Різ ргоседшге 
аПоуму8 о 50Іуе Ше ргобіета їп геа! йте апа їп сопарейпе, плаїп5ітеат (а5к5 сТизіег ої Пом/ ої 
Стій са5Кк5. Тре ехрегітепі 5Помеа Шаг Фе и5е ої плодеїз аПомуз: (0 5аме ап амегаєє ої 62.9392 
об'Фе Типспопа! еїйсіепсу ої Ше сіцзіег Бу гетоміпе, рагі ої 15 сопарийпе, гезойгсез; аЧарпуеїу 
го аПосаїе сопарейпє Поууз їазКк8 рієр-5рега (Р (Т)» 0.9), акіпє іо ассойпі Феїг ітрогапсе 
апа 5іація ої сІи5гег сотрийпя гезоцгсез; іо ргоміде 5еЇїесйоп дерепдїпє оп бе 5средціег 
ргоседиге, йгот 160 (Ть - 5 58) (юр 260 (Ть - 20 8) ог215 (Ть - 5 8) ю 355 (Ть - 20 8) раскаєе 
га5к5. 

Тре гезціїв, урісП умеге обіаїпед їп Ше Шеогейса! 5їидіез апа сопаригег плоденпе, 
оїме рготізе Їог іпаріетепіацоп ої Ше деуеіоред адарйуєе тоде! ої орегайопа! ріаппіпеє 
ої ха5К5 даїз(гібийоп ог Гог іпіеєгайоп ої 5оте ргоседите5 ої 15 5оїомаге (0 Ше 5ігисіиге ої 
Фе Стій сІивіег8. 


Стаття надійшла до редакції 08.05.2012. 
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